问卷设计与统计分析---问卷如何评估信度
作者:小王子的狐狸 审稿:阿X 封面:自己想吧
一份问卷回收后,我们会担心该项调查是否可信,那么如何判断调查是可信的呢?
1. 什么是信度?
信度是指:调查的可靠性,包括测量结果的一致性和稳定性。一般而言:信度程度越高,标准误差越低。
2. 如何评估一个调查的信度?
评估一个调查的信度,可以从以下方法进行:
① 重复检测法。也就是询问该项调查的再测信度高吗?
该方法,使用同样的问卷,针对同一群体在不同的时间里做两次测量。然后通过两次测量的结果,对他们进行相关性分析或差异分析。如果说,结果越相关,差异越不显著,那么说明问卷的信度越高。
不过,这个方法也存在一些问题。
首先,时间的间隔会影响到结果。在其他方面都不变的情况下,时间间隔地越长,则测量的信度越低。
其次,重复测量有时很难操作,甚至是不可能的。例如测量客户对某新产品的态度。
然后,第一次的测量会影响到后面的测量。测量的人们会尝试着回忆之前的回答。
最后,再测信度的相关性可能会因为被测项目自身的相关性而增大。
② 交错法。
通过采用形式不同但是等效的调查表(比如A和B),对同一群体在不同的时间(可以间隔2-4周)进行测量。这两次调查结果之间的相关性被用于评价问卷的信度。
举个例子:大学里,老师出的A卷和B卷,就是交错法的一种形式。
如果:这两份问卷的测量结果相同,那么说明测量的可信的;反之,就是不可信的。
这个方法也存在着几个问题:
第一, 两个等效的问卷的构建不仅耗时,也耗钱。
第二, 构建出完全等效的两份问卷,这个可操作性太难。
③ 内部一致性信度法。
内部一致性,是反映问卷的题目与题目之间的一致性。其测量方法用的多的是计算Cronbach’s alpha”系数。 Cronbach’s alpha表示问题之间的相互关联的程度。Alpha的系数值,认为0.7是其可以接受的信度值,不过具体地,还要看调查表的目的,不可一概而论。
3. 如何确定调查是否需要考虑内部一致性呢?
以下两个例子可以说明:
例1:需要考虑内部一致性
有一个关于一款新游戏用户体验满意度的调查,涉及到10个问题,高分代表着用户满意度高,低分代表着用户满意度低。需要考虑这10个问题在多大程度上测量了用户体验满意度的相同维度?
例2:不需要考虑内部一致性
对用户进行了如何改善新游戏体验的调查,问题也是10个,其中8个问题涉及到一些改善的可能维度,如:游戏道具的使用、游戏角色的变化等。另外2个问题涉及到用户的性别和年龄,在这个例子中,由于是关于游戏体验的改进建议以及被调查者的性别、年龄信息等,所以每个问题都是相互独立的。
关于alpha系数的应用原理、信度评估方法的实际操作,在后续我们会作出详细的说明,尽请关注。